こんにちは、せーのです。

AWS Re:Invent2024、今回はSEG208「What's the ROI with generative AI? Can the numbers tell the story?」のレポートをお送りします。

セッション概要

デジタルビジネスは2023年にジェネレーティブAIの生産利用を開始し、2024年にはさらに加速しました。先進的な導入により、平均で11%の収益増加が見込めます。特定のビジネス機能の改善に重点的に取り組むことで、ユースケース全体で最も一貫したROIが得られます。人事、サプライチェーン管理、IT自動化、コード開発など、その他の分野ではどのような数値が得られているのでしょうか？企業はどのようにしてユニットエコノミクスを掘り下げていますか？AIの取り組みに最も効果的なROIモデルとはどのようなものでしょうか？このセッションでは、実際の顧客事例とともに、特定のROI効率に関する実際の数値と指標を明らかにするために、最近の分析レポートを調査します。

3行まとめ

1. ジェネレーティブAIのROI測定は依然として多くの企業にとって課題だが、2024年に入り具体的な成功事例と測定手法が確立されつつある
2. 成功の鍵は「小さく始めて、測定可能な指標を設定し、段階的に拡大する」というアプローチ
3. エンジニアリングの観点では、既存システムへの"ボルトオン"的な導入は避け、長期的な視点でアーキテクチャを再設計することが重要

セッションの主要な議論

1. 初期投資と長期的利益のバランス

Talk Theme:
"How do you balance the initial investment in generative AI against long-term gains, what strategies have proven effective?"
（初期投資と長期的な利益とのバランスをどう取るか、どのような戦略で行くべきか）

パネルディスカッションでは、「大きな目標を最初から目指さない（Don't try to shoot for the moon right from the very beginning）」という明確なメッセージが示されました。具体的には以下のアプローチが推奨されています：

1. 短期的なユースケースからスタート

• 2-3週間の短いサイクルでPoCを実施
• すぐに効果測定可能な領域を選択（例：カスタマーサービスの応答時間短縮）
• 小規模な成功事例を積み重ねる

2. 長期的なロードマップを並行して準備

• 製品・サービス全体の再設計を視野に入れる
• データ基盤の整備計画を含める
• 必要なスキル・人材の育成計画を組み込む

3. 投資の段階的アプローチ

• 初期はマネージドサービスを活用し、コストを抑制
• 成功事例に基づいて投資を拡大
• カスタマイズや独自モデル開発は、明確なビジネスケースの確立後に検討

2. カスタムモデルvs事前学習済みモデル

Talk Theme:
"How does the choice between building custom models versus using pre-trained models affect ROI?"
（カスタムモデルを作るのと、事前学習済みのモデルを使うのと、ROI的にはどちらが効果的か）

ROIの観点から見た場合、以下のような結論が示されました：

1. 短期的ROIでは事前学習済みモデルが優位

• 2024年時点では基盤モデルの性能が十分高水準
• 多くのユースケースをカバー可能
• 運用コストの抑制が可能

2. カスタムモデルが正当化される条件

• 極めて特殊な専門領域での利用（医療・法務など）
• 大量の独自データの存在
• 厳格なプライバシー要件
• 事業規模に対して十分小さいコスト

3. 推奨されるハイブリッドアプローチ

• 基盤モデル + RAG
• 軽度なファインチューニング
• プロンプトエンジニアリングの活用

特に重要な論点として、セキュリティとプライバシーの懸念に対する対応が議論されました。Amazon Bedrockの例では、デフォルトでCustomer Data Isolationが保証されており、顧客データがモデルの改善に使用されないことが説明されました。また、データの機密性レベルに応じて以下のような段階的なアプローチが提案されています：

• 非センシティブデータ → 既存モデル
• センシティブデータ → プライベートRAG
• 極めてセンシティブなデータ → プライベートモデル

3. 組織的なアプローチとガバナンス

Talk Theme:
"How do you organize ROI-focused stakeholders with AI governance and brand protection to ensure alignment + strong ROI?"
（ROIを重視するステークホルダー（経営陣など）と、AIガバナンスやブランド保護を担当する部門（法務・コンプライアンス・リスク管理など）との利害をどう調整し、組織としてまとめていくか）

ROI重視のステークホルダーとAIガバナンス・ブランド保護の関係について、重要な指摘がありました。特に注目すべきは、「ROIとガバナンスは対立する概念ではなく、適切なガバナンスが長期的なROIを高める」という考え方です。

1. Center of Excellence（CoE）の設置

• 組織横断的な専門チームの配置
• ROIとガバナンスの両面を監督
• ベストプラクティスの共有と標準化

2. 明確な責任分担と指標の設定

• ROI指標とリスク指標の定義
• 部門間の役割と権限の明確化
• 定期的なレビューサイクルの確立

3. 段階的なアプローチ

• 厳格なガバナンス下での小規模スタート
• 成功事例とリスク管理実績の蓄積
• ROI最大化に向けた段階的な拡大

このアプローチにより、ガバナンスとブランド保護は投資対効果を損なうものではなく、むしろ持続可能なAI活用と長期的な価値創出を支える基盤として位置づけられています。

エンジニアの視点からの重要ポイント

1. 技術的負債への配慮

特に「技術的負債との関係」は見落とされがちですが重要です。ジェネレーティブAIの導入は単なる機能追加ではなく、システムアーキテクチャ全体に影響を与える可能性があります。例えば、推論APIの呼び出しによるレイテンシーの増加や、新たなモニタリングの必要性など、運用面での考慮が必要になってきます。

2. データ戦略の重要性

データ戦略の部分は特に重要です。多くの企業が「とりあえずLLMを導入」という形で始めていますが、その前にデータの整備が必要です。例えば、社内ドキュメントを活用したRAGシステムを構築する場合、単にドキュメントを投入すれば良いわけではなく、適切なチャンク分割やメタデータの付与など、地道な作業が必要になります。

3. モニタリングの重要性

モニタリングの重要性は強調しておきたいポイントです。ジェネレーティブAIの出力は確率的な性質を持つため、従来のシステムよりも慎重なモニタリングが必要です。特に、モデルのドリフト（性能劣化）や、出力の品質変化などを継続的に監視する必要があります。

まとめ

エンジニアとして、特に以下の3点を意識することが重要だと感じました：

1. アーキテクチャの設計段階からROIを意識する
2. データ戦略とインフラストラクチャの整備を優先する
3. 継続的なモニタリングと改善のサイクルを確立する

最後に、AWS re:Inventのこのセッションで印象的だったのは、「ROIは単なる数字ではない」というメッセージです。確かにコスト削減や効率化は重要ですが、それ以上に重要なのは、ジェネレーティブAIを通じて実現する新しい価値創造の可能性です。その意味で、ROIは「Return on Investment」というよりも「Return on Innovation」と捉えるべきかもしれません。

次回は、より技術的な観点からジェネレーティブAIの実装について解説していきたいと思います。最後まで読んでいただき、ありがとうございました。